MLE-World：用学习世界模型预测机器学习实验输出
🧭 MLE Agent 世界模型与测试时扩展 ★ 深度解读
University of Washington · University of Illinois at Urbana-Champaign · University of Oxford · Columbia University · New York University
用 4B 世界模型预测 ML 程序终端输出并以置信度门控执行，使 MLE Agent 在少执行下获得更高分数
📌 工作参考价值（4 点）
- 在昂贵的真实执行/线上实验前，用轻量世界模型（finetuned 小 LLM）预测候选程序、策略或 query 的终端输出（日志/指标/错误类型），一轮推理代替一次完整运行，可把候选筛选成本降 1-3 个数量级。
- 置信度门控是核心复用点：按预测结果类型设置不同阈值（成功/失败/超时），只对低置信度候选做真实执行；比随机跳过更省资源，能省 30-40% 执行时间。
- 结构化输出比单纯预测分数或日志更有效：同时预测 exception class、terminal output、validation metric、submission flag，可提升终端输出一致性和指标召回，并支持后续 Debug/Improve。
- UCB 式 exploration bonus 用模型不确定性（1-pmax）修正贪心 Best-of-N，避免 discard 被低估的候选；可迁移到商品召回/创意筛选等有限验证预算场景。
返回开发状态：完整沙箱快照何时帮助编码智能体
🧭 编码 Agent 的失败恢复与状态搜索
Daytona · University of Waterloo
在编码智能体失败恢复中，以完整沙箱快照为可搜索状态做 Go-Explore 式分支，发现收益主要来自仓库外运行时状态
📌 工作参考价值（4 点）
- 多阶段 Agent 工作流（如推荐系统实验环境搭建、数据管道调试、线上服务配置迭代）中，失败恢复不要只保存代码 diff 或文本总结，可在关键中间步骤保存完整沙箱/容器快照（包括数据库、缓存、依赖、运行的服务），允许从中间状态分支重试，减少重复搭建成本。
- 根据结论判断是否值得引入快照：如果任务涉及多个服务且状态无法从单个 git diff 重建（例如特征平台数据、模型服务配置、A/B 实验中间产物），快照收益最大；简单单仓库代码修复则不必增加复杂度。
- 可借鉴 Go-Explore 的“记录有希望状态并回访”思想：在 Agent 测试时扩展中，除了采样轨迹，还可以维护一个状态池，按照进度指标（如任务完成度、关键里程碑）筛选值得分支的中间环境，提高长 horizon 任务解决率。
- 工程实现上，使用 Docker/容器快照或轻量级 VM 快照作为状态保存手段，成本可控；可设定快照触发条件（例如阶段成功、关键外部状态变更后），避免每一步都保存。
后训练中的锐化税：基座与后训练LLM智能体的覆盖率权衡
🧭 LLM Agent RL后训练 · 测试时扩展诊断 ★ 深度解读
Meta Superintelligence Labs · University of Wisconsin–Madison · NYU · Stanford University
提出Sharpening Tax度量后训练对测试时覆盖率的损失，并给出PTGS自适应温度采样以同时提升pass@1与pass@K
📌 工作参考价值（4 点）
- 评估Agent或对话式购物策略时，除了pass@1，应监控pass@K与Sharpening Tax；若业务需要高覆盖/多样性（如商品候选生成、长尾query召回），后训练模型可能过度牺牲覆盖，可保留base模型+轻量harness做多次采样。
- 在用PPO/GRPO训练推荐Agent或生成式推荐策略时，可引入PTGS：为每个prompt维护Beta成功统计，按难度自适应采样温度，硬任务升温、易任务降温；无需改RL算法，可降低熵崩塌，兼顾单次准确率与长尾覆盖。
- 仅用8个rollout即可低成本估计Sharpening Tax，相关性ρ=0.85预测更大预算下的tax；可用于上线前诊断或做模型路由：后训练模型处理高置信任务，base模型处理需要探索/候选多样性的任务。
- RL对齐后的双峰化会使中间难度任务消失，需评估是否把可救回的长尾任务推向永久失败；对电商/广告中的个性化Agent，应关注always fail比例，PTGS可缓解该问题。
循环混合专家模型的联合缩放定律
🧭 循环 MoE 联合缩放定律 ★ 深度解读
Meta AI
提出首个联合建模循环深度与 MoE 稀疏度的缩放定律，用于资源约束下最优循环 MoE 设计
📌 工作参考价值（4 点）
- 在推荐/广告场景部署 LLM ranker 或 copy 生成模型时，可借鉴循环 MoE：固定 active 参数下提高 R 换取 reasoning 能力，稀疏度 E 换取总体知识覆盖；按 latency/显存预算联合调 R 和 E，而不是简单增大 dense 参数。
- 若有训练 scaling law 拟合能力，可仿照论文用小规模 (Nact,D,E,R) sweep 拟合含稀疏度条件的 Neff(R,m)，预估不同 FLOPs/内存下配置的 loss，指导模型 ladder 选型；低内存设备优先高 R 低 E，富内存场景优先高 E 低 R。
- 循环模型天然支持 test-time scaling：同一 checkpoint 只改 R 即可从低算力到高算力平滑提升效果（案例中 R 1→5 提升 Overall +10.3），适合推荐系夜间批量生成与在线高 QPS 弹性推理。
- 工程实现采用 middle-block looping：只循环中间层，前两层和后两层不共享，配合逐层监督可让同一模型在多个 R 下可评测；注意全反向传播计算与 unroll 参数成正比，可用 early exit 减少无效深循环。
知道何时思考不够：教小推理模型超越参数知识进行推理
🧭 小模型推理 · 选择性外部查询 ★ 深度解读
KAIST · DeepAuto.ai
区分执行瓶颈与知识瓶颈，训练小模型只在知识瓶颈时查询强模型，4B 超越 14B 且成本低 2.7 倍
📌 工作参考价值（4 点）
- 区分内部执行瓶颈与外部知识瓶颈：在 LLM 驱动的搜索/推荐 Agent 中，当模型反复反思但答案不变、或继续生成也拿不到正确结果时，不要只加长推理；可监控中间状态的成功率/答案熵，识别知识缺口并触发商品知识库、检索或更强模型。
- 把强模型封装成多深度查询工具：让策略学习是否问、问什么、用哪个成本档，比固定检索或开场就查更省；外部模型只接收子查询而不看完整问题，避免答案委派和泄露。
- 两阶段训练可落地：先用 SFT 合成“救援轨迹”教会小模型调用工具，再用 cost-aware GRPO 校准查询时机和深度；仅对成功轨迹惩罚成本，能学到多轮廉价查询，接近深后端性能、接近浅后端成本。
- 经济性设计值得借鉴：在电商导购、政策问答等知识密集场景，可复用其 pass@k 与单位成本曲线评估，通过 GPU/API 价格扫描验证成本优势的稳健性。
FLEET：从 logits 熵到文本生成中的增强轨迹
🧭 LLM 推理时采样优化
Kharkiv National University of Radio Electronics, Kharkiv, Ukraine
通过记录高熵 token 轨迹并调整 logits，在相同预算下提升采样效率与复杂任务准确率
📌 工作参考价值（4 点）
- 替代重复采样做集成：在生成 query、文案、搜索结果标题等场景中，常用 temperature sampling 生成多个候选再投票/打分。FLEET 的记忆机制可减少重复候选，提升预算利用率，相同精度下速度提升 3 倍。
- 轻量级 logits 调整模块：FLEET 只需根据 token 熵阈值记录轨迹并调整 logits，对现有 LLM pipeline 改动小，易于嵌到在线生成服务中，尤其适合需要控制延迟和成本的电商推荐系统。
- 确定性贪心解码可选：论文在贪心解码下实现确定性输出，适合对可复现性有要求的 A/B 测试或生产环境；用一次校准 pass 自动确定超参数，降低调参成本。
- 面向 Agent 的复杂任务提升：在 LiveCodeBench 等复杂编码任务上大幅提升 Pass@32，说明该方法对多步推理和 agentic 任务有效，可用于电商导购 Agent 的多步规划与执行。
样本数量不够：候选生成策略决定LLM测试时扩展的能量与性能
🧭 LLM推理 · 多候选采样批次调度
Iowa State University
固定候选数下，少量大批次调用比多次小批次调用显著降低GPU能耗与延迟
📌 工作参考价值（4 点）
- 在电商/广告/搜索中用 LLM 做自一致性、多候选 query 改写或商品文案生成时，优先把多个独立候选合并成一次 batched generation，而不是 for 循环串行调用；例如要生成 8 个候选 query，直接 batch_size=8 一次请求，可将 P95 延迟降低约 5-6 倍、GPU 能耗降低约 4-5 倍。
- 对多 Agent 系统，如果多个 agent 针对同一 prompt 独立产出候选（如选品、类目预测、出价策略），且相互无依赖，可以聚合为单模型单次批量推理；避免 agent 调度器串行等结果带来的 GPU 空闲和重复调度开销。
- 实验评估与 A/B 上线时，不要只记录候选数 N 和 accuracy；把 generation schedule（a×b）、P95 latency、GPU-hours、gross GPU energy 纳入日志。同一 N 的不同实现，线上成本差异可能数倍，这直接影响预算与容量估算。
- 如果显存允许，优先扩大 batch 而非增加请求数；短输出任务和小模型也遵循同样趋势。对推荐场景里大量短文生成（搜索词、标签、push 文案）尤其适合，因为单条输出短，batch 扩展的显存压力低。
混沌中的阶梯：测试时扩展何时、如何及为何提升 LLM 机器翻译
🧭 LLM 测试时扩展 · 机器翻译
University of Amsterdam · Vrije Universiteit Amsterdam
系统比较顺序与并行采样在 LLM 机器翻译中的表现，揭示顺序采样在小预算下上限更高并解释其机制
📌 工作参考价值（4 点）
- 在 LLM 生成推荐理由、广告文案、push 文案等短文本任务中，可优先用顺序自精炼（把前一轮输出拼到上下文）而非仅做 i.i.d. 采样+重排；小预算下可用更少采样得到更高上限和更好的自然度。
- 注意顺序扩展不是无代价：推理预算很大时会损害准确性/忠实度，因此业务中应对准确性敏感场景设置预算上限，并用自动指标或人工抽检监控“流畅但偏离原意”。
- 机制上，顺序采样的收益部分来自扩大目标侧上下文，提示我们在生成式推荐/query 改写中不必只重写，可让模型“看到并续写”前序候选，把前序输出作为 soft context；但上下文构造方式要谨慎，温度可保持鲁棒。
- 如果链路中已有 rerank 模块，可尝试 hybrid：小预算先并行采样+rerank 拿一个较优候选，再用顺序自精炼补强自然度，而不是简单堆 N。
入口锁定，内部开放：RLVR 收窄推理解空间的位置研究
🧭 RLVR 推理多样性收缩与入口干预
School of Future Technology, Shanghai University · School of Computer Science, University of Birmingham
定位 RLVR 训练后解空间收缩集中在首个算术操作前，提出晚期参数插值在保持 pass@1 下恢复 37% 覆盖。
📌 工作参考价值（4 点）
- 电商/搜索/Agent 场景用 RLVR 或 RLHF 优化 LLM 后，要监控早步 token 熵：若首步熵快速塌缩，生成候选的多样性和长尾覆盖会下降，影响 query 推荐、文案生成和探索型 Agent。
- 想要恢复多样性但不想牺牲主指标，可尝试参数级干预：将晚期层参数与早期 checkpoint 插值，比 surface prompt 有效，类似推荐模型在 exploit/explore 间做平滑 trade-off。
- 训练管线建议优先 staged SFT–DPO–RLVR，而不是直接上 RLVR；这样能保留早步熵，避免削弱后续多次采样、self-consistency、树搜索等 test-time scaling。
- 若业务依赖 RLVR 后模型生成多个候选，不要指望 prompt 层“生成更多样方案”能救回来，需要从训练状态或解码策略入手。
前缀滑动：高效测试时扩展
🧭 长程推理 · 前缀滑动窗口 ★ 深度解读
Stanford University · University of California, Santa Barbara · Prime Intellect · University of Washington
保留前缀与最近滑动窗口、丢弃中间推理 token，实现恒定成本的长程推理，无训练 3 倍加速
📌 工作参考价值（4 点）
- 长程 Agent/工具调用（多跳搜索、自动比价、复杂排障）：把 system prompt、工具定义、任务描述固定为 prefix，中间推理只保留最近 2048-4096 的 sliding window；能显著降低 KV cache 与时延，且基本不掉点。
- 用 GRPO/在线 RL 训长 reasoning/Agent 模型时，直接复用 truncated backpropagation：只把最后 4×window tokens 传给 trainer，loss 只算最后 window；可避开 OOM，KL 偏差小，适合异步 RL 长 rollout。
- 工程上避免用 last k / summary 做长上下文压缩：会重复处理 token 或引入额外摘要 step，导致显存锯齿与延迟尖峰；Prefix Sliding 的 custom kernel 用 tile skipping 能保持吞吐稳定，接近 vanilla sliding window。
- 注意适用边界：若 Agent 要读长文档、长 API 返回或长代码补全（类似 LiveCodeBench），窗口建议至少 16K，或把关键证据动态追加到 prefix；短文本任务（query 改写、短推荐理由）加速有限。
开放域生成中测试时扩展：瓶颈在利用而非探索
🧭 LLM 测试时扩展 · 开放域生成评估 ★ 深度解读
Thomson Reuters
五种TTS计算归一化对比：候选池不缺好答案，奖励模型相关性≈0.12，Fusion最佳仅捕获40% headroom
📌 工作参考价值（4 点）
- 在电商/广告文案、商品标题、Agent 回复等开放域生成中，上线 Best-of-N + reward model 选优前，先在小样本测 RM 分数与真实质量的 Spearman ρv；若低（如<0.2），额外采样基本是浪费，应直接放弃 RM 选择。
- 优先把候选池做生成式合成（Fusion）而不是打分选优：同一候选池下，Fusion 的 headroom capture 约 40%，明显高于 BoN 的约 15%，且不依赖外部 verifier，适合商品文案/卖点融合。
- 不要把 PRM 引导的树搜索用于开放域文本生成；错误 PRM 会指数型剪掉好分支，导致多样性崩溃，并行采样更稳。
- 迭代 refine 的收益要警惕长度偏置：写作/文案类 benchmark 的提升可能与“写得更长”混淆，迁移到广告或商品描述时用长度匹配评估，并监控 length-score 相关。
CoBa：通过计算均衡路由实现具成本效益的测试时扩展
🧭 LLM 测试时计算优化
School of Mathematics and Statistics, Changsha University of Science and Technology, Changsha, China · School of Biomedical Engineering, Shanghai Jiao Tong University, Shanghai, China
提出计算均衡路由策略，动态分配生成与验证预算，以更少计算匹配多数投票准确率。
📌 工作参考价值（4 点）
- 多候选验证的预算分配：在生成式推荐或搜索中，当需要从多个候选 query/item 中投票选择时，可先使用廉价验证器（如轻量级打分模型）过滤大量候选，仅将高不确定性或高价值候选送入昂贵的大模型验证，大幅减少 LLM 调用成本。
- Agent 循环中的动态路由：在涉及规划-执行-评估的 Agent 系统中，可借鉴 CoBa 的“生成 vs 验证 vs 停止”决策框架，由路由模块实时判断下一步应生成更多方案、调用评估器，还是直接输出结果，避免无效计算。
- 在线服务成本控制：对于对延迟敏感的电商实时推荐，可基于 CoBa 的停止规则设定置信度阈值，当廉价验证结果一致性高时提前终止，节省的 token 可分配给更复杂的用户意图理解场景。
- 粗-精验证管道设计：构建类似于 CoBa 的两级验证结构，第一级用规则或小模型快速打分，第二级用大模型深挖，这在商品标题改写、用户评论情感分析等场景中可直接复用，提升吞吐量。
SLPO：通过替代策略优化实现潜在推理的扩展
🧭 强化学习 · 潜在推理 · 测试时扩展
The Hong Kong Polytechnic University · Sichuan University
提出替代潜在策略优化（SLPO），用经验密度和自适应停止将结果奖励RL引入潜在推理，实现测试时扩展
📌 工作参考价值（4 点）
- 潜在计算可用于推荐Agent的推理加速：在对话推荐或商品解释生成中，用连续向量代替显式CoT token，可大幅降低服务端推理成本，SLPO的RL训练方式可直接优化这种潜在表示。
- 替代密度思想可借鉴到无似然生成场景的信用分配：当推荐系统的生成模块（如生成式检索）的中间状态不可微时，可构造经验替代分布来分配轨迹级奖励，实现端到端优化。
- 自适应停止头可动态控制推荐Agent的思考深度：根据用户查询的复杂程度（如长尾商品推荐 vs. 热门商品），动态分配潜在计算步数，平衡效果与延迟，这与搜索/推荐中的动态路由需求一致。
- RL+潜在推理的范式可迁移到多步推荐策略优化：例如在多轮对话推荐中，将隐式状态更新建模为潜在轨迹，用最终转化信号作为奖励进行RL训练，实现推荐策略的自适应优化。
小型视觉语言模型多语言视觉多选题的测试时缩放研究
🧭 测试时缩放 · 小型VLM推理
University of Amsterdam
揭示可解析性和解码预算才是小VLM测试时缩放的关键，而非复杂搜索或验证
📌 工作参考价值（4 点）
- 提示工程确保输出可解析：在要求LLM/VLM生成推荐理由、商品标签或搜索 query 时，显式添加答案格式约束（如“最终答案：”），并后置修复漏答的推理链，能大幅提升解析成功率和准确率
- 优先增加单链 token 预算而非采样数量：对于资源受限的小模型，把单链最大 token 数从1k提升到2k即可挽回3.7个百分点，而采样数翻倍几乎无益，可在Agent推理链路中调整max_tokens参数以成本更低的方式增强性能
- 自一致性投票足够可靠：在决策融合阶段，简单 majority voting 在准确率上往往优于昂贵的PRM引导搜索或训练验证器，适合作为推荐Agent中多路推理结果的低成本聚合方案
- 模型自身能力是最大杠杆：升级基础策略模型带来11.4pp提升，远高于任何后处理技巧，因此在实际业务中，优先迭代模型或适配领域数据比过度设计推理策略更高效
DecompRL：通过模块化代码生成解决更难问题
🧭 分解式问题求解 · 模块化代码生成
FAIR at Meta · Inria · École Normale Supérieure · CERMICS · École des Ponts ParisTech
将难题分解为独立子函数，训出可组合的模块化代码，用 CPU 组合爆炸替代 GPU 重采样
📌 工作参考价值（4 点）
- 复杂推荐 / Agent 任务可借鉴“分解—独立实现—组合”范式：将长流程或组合动作拆成原子模块，分别用 LLM 生成候选实现，再通过组合搜索提高成功率，同时减少高成本 LLM 调用。
- 生成式推荐中，将完整的 item semantic ID 或推荐文案拆成多个独立子部分生成，再灵活组合，可获得指数级候选多样性，且大部分组合验证可在 CPU 上完成。
- 训练 Agent 规划能力时，用 DecompRL 类似的 RL 目标鼓励模型自动学习“何时以及如何分解子目标”，可提升长远任务成功率。
- 线上重采样（pass@k）成本高昂时，可将一次性生成转换为“少量模块候选 + CPU 组合评估”模式，显著压缩 GPU token 消耗（论文中 ~50×），适合高流量推荐系统降本。
QuasiMoTTo：准蒙特卡洛测试时扩展
🧭 QMC 相关采样 · 推理与RL 样本效率 ★ 深度解读
Stanford University
用准蒙特卡洛相关采样替代独立采样，推理与RL训练中样本效率提升25-50%
📌 工作参考价值（4 点）
- 在推荐排序/agent 推理的 beam search 或并行采样中，可用 lattice QMC 生成更均匀覆盖的候选集，减少冗余生成，维持每条候选的边缘分布不变（即仍是原策略的准确样本），从而在相同成本下提升 recall 或 pass@k。
- 在策略梯度训练（如 GRPO）中，通过 QMC 采样提高组内样本多样性，可以降低零方差组的比例，增大有效梯度样本数，加速收敛；可尝试在广告竞价策略或推荐对话策略训练中引入。
- 算术编码的逆 CDF 采样方法本身实现了低 overhead 的并行生成，可复用到任何需要高效并行生成的场景（如搜索召回时的多条 query 改写）。
- 对于已有独立采样的系统，QMC 采样是几乎零成本的 drop-in 替换，仅需在 batch 生成前生成均匀随机数并传递给解码器，不改变模型推理逻辑。
更多采样为何有害：测试时缩放的模态上限与相关性上限
🧭 推理时采样效率上限与停止策略
University of Illinois at Urbana-Champaign
揭示测试时缩放中盲目增加采样次数无法持续提升答案选择准确率，提出模态上限与相关性上限，并给出有效样本数作为停止信号。
📌 工作参考价值（4 点）
- 在基于 LLM 的推荐生成（如推荐理由、Query 改写）中采用多数投票时，利用模态上限确定最优采样规模，避免冗余推理成本。
- 评估生成式推荐模型时，将 pass@k（覆盖率）与业务指标（选择准确率）解耦，监控 identifiability gap，指引优化重点从生成转向答案识别。
- 在在线推理中计算有效样本数，作为动态停止采样的信号，实现自适应计算预算控制。
- 为提升 Agent 决策或链式推理的可靠性，应优先投资于验证器或置信度估计器，弥补识别瓶颈，而非单纯扩大采样次数。
掩码扩散模型的奖励引导重掩码采样：高效测试时缩放与样本编辑
🧭 离散扩散模型推理缩放·奖励引导采样
Georgia Tech · UCSD
将回溯马尔可夫链扩展到掩码扩散模型，通过奖励引导的unmask/remask实现二次复杂度的推理时优化，理论上优于best-of-N
📌 工作参考价值（4 点）
- 将奖励引导的重掩码迁移到广告文案、搜索词等序列生成任务中，利用可微分的过程奖励信号对生成样本进行局部编辑，避免全量重新生成，降低推理成本。
- 在电商推荐Agent的决策序列生成中，可将业务指标（点击率、转化率）转化为奖励，通过MDM-VGB在线修复低质决策路径，提升推荐效果。
- 理论上的二次复杂度保证，相比best-of-N采样能有效防止错误累积，适合高吞吐在线推理场景，工程实现可参考其unmask/remask动作选择逻辑。
- 若生成任务存在硬约束（如query必须包含关键词、长度限制），可将约束作为可验证奖励，借鉴该方法在测试时生成满足约束的候选，无需重新训练模型。
REVES：面向测试时扩展的修订与验证增强训练
🧭 测试时扩展训练 · 多步推理修订与验证
Northwestern University · Amazon AGI · Qualcomm AI Research · University of Minnesota
从成功修正轨迹中抽取“接近正确”的中间步骤，构造修订与验证提示进行两阶段交替训练，显著提升多步推理测试时性能
📌 工作参考价值（4 点）
- 多步修正与验证分离：将中间错误转化为独立的修订和验证提示，可借鉴到 Agent 自我修正流程中，将生成改进与错误检测解耦，提升多轮交互的可靠性。
- 高效数据利用：利用成功修正轨迹中的 near-miss 样本生成 off-policy 训练数据，适用于推荐 Agent 的在线学习，减少昂贵的长链采样开销。
- 两阶段交替训练：在线数据增广与策略优化交替的框架，可迁移到需要策略迭代的推荐系统（如动态创意优化、查询改写），平衡探索与利用。
- 约束泛化能力：在约束满足任务上的泛化表现提示，该方法能增强模型对结构化规则的遵循能力，可用于推荐系统中的合规性校验或商品描述约束生成。
超越并行采样：智能搜索代理的多样化查询初始化
🧭 Agent 搜索 · 查询多样化 ★ 深度解读
Carnegie Mellon University · Instituto Superior Técnico · INESC-ID · NOVA LINCS · NOVA School of Science and Technology
提出训练无关的首轮查询多样化方法 DivInit，通过 MMR 从生成池中选择多样性查询，解决并行搜索代理的锚定坍缩问题。
📌 工作参考价值（4 点）
- 在 Agent 搜索或对话式购物助手中，首轮生成的查询多样性对后续检索路径影响巨大；可将多路独立生成改为单次生成候选池 + MMR 选择，避免锚定坍缩，提升并行采样的有效性。
- 方法无需训练、即插即用，只需修改推理时的首轮查询生成逻辑，且总 LLM 调用次数从 kT 降至 1+k(T-1)，在中小模型上可降低延迟和成本。
- 消融表明首轮多样性已足够维持轨迹分离，后续轮次无需额外干预，简化工程实现。
- 对于电商搜索中的 Agent 多轮交互，可主动设计首轮查询覆盖不同维度（品牌、价格、功能等），提高最终找到满意商品或信息的概率。
ℓ2 范数：大语言模型推理动态的内在信号
🧭 LLM 推理内在信号与测试时控制 ★ 深度解读
Peking University · Zhejiang University
发现隐藏状态 ℓ2 范数是无需训练的模型内在推理强度指标，并基于此提出三种推理增强技术。
📌 工作参考价值（4 点）
- 在 LLM Agent 推理链中，可实时监控各层 ℓ2 范数，检测推理峰值以自适应分配计算资源（如递归计算或提前退出），在电商复杂查询解析、多步决策等场景提升效率。
- 对生成式推荐，ℓ2 范数可作为一种无监督的候选序列质量度量，替代外部打分或规则，用于生成式 item 推荐中的响应重排或生成路径选择。
- 三种推理增强技术（层递归、隐藏状态引导、响应选择）无需额外训练，可直接嵌入现有的推理引擎，为推理时 Agent 缩放提供轻量、数据无关的工具。
- 发现 ℓ2 范数与 SAE 推理特征激活高度正相关且具有因果性，提示在训练推荐/Agent 模型时，可加入 ℓ2 正则或约束来激励中间推理表征，提升模型对复杂任务的泛化。
解码大型推理模型中的隐藏批评机制
🧭 大型推理模型 · 隐藏批评机制与向量操控
VinUni-Illinois Smart Health Center, VinUniversity · University of Illinois Urbana-Champaign
发现并操控大型推理模型内部的批评向量，无需训练即可提升自纠和测试时扩展性能
📌 工作参考价值（4 点）
- 在构建多步推理的电商推荐或 Agent 时，可借鉴“插入错误”探测法评估模型自身的错误检测能力，识别推理短板，针对性提升鲁棒性。
- 提取类似批评向量，在推理阶段通过无训练的表示操控，自动纠正生成式推荐解释或 Agent 规划中的中间步骤错误，提升最终输出质量。
- 测试时扩展（如多数投票、Best-of-N）中引入批评向量操控，可进一步增强复杂决策链的性能，直接应用于 Agent 多智能体协作或长程推理。
- 批评向量的存在暗示模型隐式感知错误，可为强化学习微调设计奖励信号：增加对批评向量激活的奖励，增强自我纠错能力。
平衡推理器：通过吸引子学习实现可扩展推理
🧭 迭代推理 · 吸引子动力学 ★ 深度解读
CMU
将迭代推理模型视为学习任务条件吸引子，通过塑造吸引子景观实现测试时深度与广度双轴扩展，无需外部验证器即可大幅提升推理性能。
📌 工作参考价值（4 点）
- 深度与广度双轴扩展框架：可将迭代更新模块（如推荐系统中的多步状态精炼或 Agent 的多轮推理）设计为权重绑定形式，通过增加迭代步数（深度）和并行采样不同初始状态（广度）来提升性能，并利用残差作为收敛信号提前终止或筛选最优轨迹。
- 训练技巧：随机初始化和路径噪声：在训练多步迭代模型时，用随机潜状态初始化替代固定初始化，并注入轻微噪声，可以扩大正确解的吸引盆地，提高泛化能力和在不同重启下的稳定性。这一思路可迁移到生成式推荐或 Agent 策略训练中，增强对初始条件的鲁棒性。
- 自适应计算分配：结合 ACT 机制，根据样本难度动态分配迭代步数，减少简单样本的浪费计算，将更多资源留给困难样本。在电商搜索或广告系统中，对于简单查询可提前终止深度推理，保持低延迟，复杂查询则允许更多步精炼。
- 残差作为内在置信度：利用固定点残差（∥f(z)-z∥）作为模型自身的置信度指标，无需外部验证器即可进行 top-1 选择或提前停止。在生成式推荐解码或多智体协作中，可使用类似自一致性信号来动态调整计算量或融合候选结果。
闭环验证推理解锁复杂视觉生成
🧭 多模态生成 · 闭环验证推理
University of Science and Technology of China (USTC) · Independent Researcher
提出闭环验证推理框架，结合自动化数据引擎、PPRL强化学习与DSWM权重融合，解决多步规划幻觉、优化不稳定及延迟问题，性能逼近商业模型。
📌 工作参考价值（4 点）
- 自动化闭环数据引擎：用步级视觉验证自动筛选可靠推理轨迹，可迁移到电商 Agent 的多步规划数据合成，提升轨迹质量。
- PPRL 解决长上下文 RL 不稳定：将交错多模态历史蒸馏为显式奖励信号，在电商对话代理中可类似处理长对话上下文，稳定策略优化。
- DSWM 权重融合加速推理：将对齐权重与蒸馏先验融合，将每步 denoising 成本从 50 步降至 4 NFE，适合实时推荐/生成场景的低延迟需求。
- 测试时扩展：多步验证推理解锁复杂任务能力，电商搜索中的复杂查询理解与多级意图生成可借鉴该测试时扩展范式。